RAG: come si fa rispondere un modello sui documenti aziendali

RAG sta per generazione aumentata dal recupero, e descrive una cosa semplice: prima si cercano i passaggi rilevanti nei vostri documenti, poi si chiede al modello di rispondere usando solo quelli. E' la tecnica che sta sotto quasi tutti gli assistenti aziendali seri, ed e' utile capire dove si rompe.

Il meccanismo in tre passi

1. Preparazione. I documenti vengono spezzati in porzioni e trasformati in rappresentazioni numeriche che catturano il significato, non le parole esatte. Vengono conservate in un archivio interrogabile per somiglianza.
2. Recupero. All'arrivo di una domanda, il sistema cerca le porzioni piu' pertinenti — anche se non contengono le stesse parole della domanda.
3. Risposta. Le porzioni recuperate vengono passate al modello insieme all'istruzione di rispondere solo sulla base di quelle, e di citare la fonte.

I quattro punti in cui si rompe

1. Il recupero, quasi sempre

Quando la risposta e' sbagliata, nove volte su dieci il modello ha risposto correttamente sulle porzioni che ha ricevuto — solo che erano le porzioni sbagliate. Prima di cambiare modello conviene guardare che cosa e' stato recuperato: e' l'unica diagnosi che porta da qualche parte.

2. Le porzioni tagliate male

Una tabella spezzata a meta', un articolo separato dal suo comma, una condizione staccata dall'eccezione che la limita. Il sistema recupera un frammento formalmente pertinente e sostanzialmente fuorviante. E' un lavoro noioso di preparazione e vale piu' di qualunque scelta tecnologica.

3. I documenti che si contraddicono

Due versioni della stessa procedura, una del 2023 e una aggiornata, entrambe nell'archivio. Il sistema non sa quale vale: risponde con quella che somiglia di piu' alla domanda. Serve una regola su quale documento prevale e una pulizia preventiva.

4. Le domande che non sono domande documentali

«Quanto mi conviene?» non ha una risposta in un documento. Questi casi vanno riconosciuti e indirizzati a una persona, altrimenti il sistema compone una risposta a partire da frammenti che con la domanda non c'entrano.

Quello che risolve, e con quale riserva

Riduce molto le invenzioni sui vostri contenuti, perche' vincola la risposta a testo reale e la rende verificabile citando la fonte. Non le azzera: se il recupero sbaglia, il modello risponde con sicurezza sul materiale sbagliato. La citazione della fonte non e' un adempimento formale, e' il vostro strumento di controllo — e va messa in modo che chi legge possa davvero aprire il documento al punto giusto.

Come si valuta prima di pubblicarlo

Con un metodo artigianale che funziona meglio di qualunque metrica automatica: fatevi dare da chi risponde oggi ai clienti cinquanta domande vere, con la risposta corretta scritta accanto. Fate girare il sistema su quelle e contate tre cose: quante risposte sono corrette, quante sono sbagliate, e quante volte ha dichiarato di non sapere. La seconda categoria e' l'unica che conta davvero — una risposta sbagliata detta con sicurezza costa piu' di dieci «non lo so».

Le stesse cinquanta domande si rifanno girare a ogni modifica: e' l'unico modo per accorgersi se un aggiornamento ha peggiorato le cose.

Quando non serve

Sotto una ventina di documenti, una pagina di domande frequenti scritta bene costa meno, funziona meglio e non si rompe. Il confronto fra un assistente generico e uno ancorato ai vostri documenti, dal punto di vista di chi deve decidere, e' in ChatGPT o un assistente sui vostri documenti.